Lịch sử phường 2 gắn liền với quá trình người Kinh đến lưu trú và định cư tại Vũng Tàu. Vào thời vua Gia Long (1802-1820), để kiểm soát và bảo vệ khu vực vịnh Ghềnh Rái, cửa biển Cần Giờ, triều đình Huế đã cử 3 đội thủy binh (gọi là “thuyền”) vào Vũng Tàu trấn giữ, dẹp nạn cướp biển, bảo vệ dân lành. Sau khi nạn cướp biển được dẹp yên, vua cho cấp đất lập làng. Khu vực phường 2 hiện nay nằm trên địa bàn làng Thắng Tam cũ, có vị trí bao gồm toàn bộ khu vực phường 1, 2, 4, 8, Thắng Tam, Nguyễn An Ninh ngày nay. Đình Thắng Tam là trung tâm sinh hoạt và thờ tự của dân làng.

Ngoài nghề đánh bắt cá, đóng đáy, dân làng còn khẩn đất, khai hoang làm rẫy, vườn ruộng. Các tên gọi Xóm Lưới, Xóm Vườn ở phường 2 hiện nay bắt nguồn từ nhóm cư dân ban đầu này.

Dưới thời Việt Nam Cộng hòa, địa bàn phường 2 hiện nay thuộc xã Thắng Tam, quận Vũng Tàu, tỉnh Phước Tuy.

Trái với khu trung tâm Vũng Tàu sầm uất, khu vực này chủ yếu là nhà vườn trồng cây ăn trái xen lẫn ruộng lúa. Phần phía đông hướng ra biển có một vùng đồng chiêm trũng xen lẫn ao đầm ngập nước. Phía gần biển đông là đồi cát với rừng dương tự nhiên. Ở phía tây, đoạn gần đường Trương Công Định hướng ra đường Quang Trung, Bãi Trước có một xóm chài. Khu vực này được gọi là Xóm Lưới hay Khóm Lưới.

Ngày 22 tháng 8 năm 1972, Tổng trưởng Nội vụ chính quyền Việt Nam Cộng Hòa lại ban hành Nghị định số 553-BNV/HCĐP/NÐ, đổi các danh xưng "khu phố" của thị xã thành phường. Theo đó, khu phố Thắng Tam trở thành phường Thắng Tam.

Sau năm 1975, Vũng Tàu trở thành thị xã trực thuộc tỉnh Đồng Nai. Ngày 30 tháng 5 năm 1979, đặc khu Vũng Tàu – Côn Đảo được thành lập, phường Thắng Tam trực thuộc đặc khu này.

Ngày 14 tháng 5 năm 1986, chính phủ thành lập phường 2 trên cơ sở một phần diện tích và dân số của phường Thắng Tam cũ[1].

Khi mới thành lập, phường trực thuộc đặc khu Vũng Tàu – Côn Đảo với địa bàn kéo dài đến tận đường Lê Hồng Phong và Đài Liệt sĩ.

Ngày 12 tháng 8 năm 1991, đặc khu Vũng Tàu - Côn Đảo giải thể[4], Phường 2 trực thuộc thành phố Vũng Tàu, tỉnh Bà Rịa - Vũng Tàu.

Ngày 24 tháng 12 năm 2004, Chính phủ ban hành Nghị định 212/2004/NĐ-CP[3]. Theo đó:

• Điều chỉnh 127,78 ha diện tích tự nhiên và 712 người của Phường 1 về Phường 2 quản lý
• Thành lập phường Thắng Tam (mới) trên cơ sở 251,50 ha diện tích tự nhiên và 13.410 người của Phường 2.

Sau khi điều chỉnh địa giới hành chính, Phường 2 còn lại 293,43 ha diện tích tự nhiên và 11.122 người. Địa bàn của phường chỉ còn giới hạn về phía chân núi.

Những năm 2000 chứng kiến quá trình đô thị hóa nhanh chóng, khi các vùng đất trống và ngập nước dọc theo đường Phan Chu Trinh chuyển thành đất ở. Khu đất quanh đoạn cuối của hồ nước tự nhiên (Hồ Bàu Sen) được quy hoạch thành khu đô thị mới Á Châu. Hiện nay phường đang chủ trương quy hoạch khu công viên Ao cá phường 2 làm công viên sinh thái chính của phường.